ห้องสมุดประชาชน ได้เริ่มจัดตั้งครั้งแรกเมื่อ พ.ศ. 2459 โดยกรมศึกษาธิการ (ในสมัยนั้น) มีชื่อเรียกว่า "ห้องสมุดหนังสือสำหรับประชาชน" เป็นที่รวบรวมหนังสือต่างๆ ที่มีประโยชน์ต่อประชาชนและเปิดให้บริการให้กับประชาชนทุกคนเข้าอ่านได้ อยู่ในความรับผิดชอบของแผนกห้องสมุด และผู้มาใช้บริการไม่ต้องเสียเงิน ห้องสมุดหนังสือสำหรับประชาชน ได้รับการตั้งขึ้น 3 แห่ง คือ ที่โรงเรียนวัดสุทัศน์ โรงเรียนสามจีนใต้ จังหวัดพระนครและโรงเรียนวัดประยูรวงศ์จังหวัดนนทบุรี ในปีต่อมาได้เปิดขึ้นอีก 2 แห่ง ที่โรงเรียนมหาวชิราวุธสงขลา และ ณ ที่ว่าการอำเภอชัยภูมิ จังหวัดชัยภูมิ ต่อมาในปี พ.ศ. 2461 ได้เปิดเพิ่มอีก 4 แห่ง ในจังหวัดบุรีรัมย์ พ.ศ. 2483 คณะรัฐมนตรีมีมติให้จัดตั้งกองการศึกษาผู้ใหญ่ขึ้นสังกัดสำนักงานปลัดกระทรวงศึกษาธิการ ต่อมาในปี พ.ศ. 2492 รัฐบาลมีนโยบายจัดการศึกษาผู้ใหญ่ ให้กว้างขวางและเหมาะสมกับสถานการณ์จึงได้มีการขยายรูปงานใหม่ 4 ด้าน คือ การศึกษาขั้นพื้นฐาน การอาชีวศึกษาผู้ใหญ่ การมัธยมศึกษาและการศึกษาประชาชน ในงานด้านการศึกษาประชาชนรัฐบาลวางนโยบายให้จังหวัดต่างๆ เริ่มจัดห้องสมุดประชาชนขึ้น เมื่อ พ.ศ. 2494 และ กองการศึกษาผู้ใหญ่โอนมาสังกัดกรมประชาศึกษา
ในปี พ.ศ. 2535 กรมการศึกษานอกโรงเรียน ได้ปรับบทบาทของห้องสมุดประชาชนให้กว้างขวางโดยให้ชุมชนเข้ามามีส่วนร่วมในการดำเนินงานทั้งการบริการและการจัดกิจกรรมให้มากที่สุด เพื่อให้เกิดความรู้สึกการเป็นเจ้าของผลทำให้ห้องสมุดประชาชนจังหวัด 73 ห้องสมุดประชาชนอำเภอ 502 แห่ง
ปัจจุบันห้องสมุดประชาชนอำเภอคำชะอี ตั้งอยู่ที่ หมู่ 1 ถนนเทศบาล 18 ตำบลน้ำเที่ยง อำเภอคำชะอี จังหวัดมุกดาหาร ลักษณะอาคารชั้นเดียว ติดกับ สกร.ระดับอำเภอคำชะอี ก่อสร้างเมื่อวันที่ 22 กันยายน 2527 จัดสร้างด้วยงบประมาณกรมการศึกษานอกโรงเรียน เป็นห้องสมุดตามมาตรฐานขนาดเล็ก เปิดให้บริการ วันจันทร์ - วันศุกร์ ตั้งแต่เวลา 08.30 - 17.00 น.